Objectifs d'apprentissage
- Analyser les limites des réseaux de neurones récurrents (RNN) et des LSTM dans la gestion des dépendances à longue portée
- Définir les fondements mathématiques du mécanisme d'attention auto
- Décortiquer l'architecture du transformateur encodeur-décodage et ses composants
- Évaluer le rôle de l'encodage positionnel et de l'attention à plusieurs têtes dans la modélisation des séquences